Lưu Bị được sách Tam quốc chí mô tả là người cao bảy thước rưỡi (quy đổi ra 1 mét 65[4]) không có râu,[5] vành tai rất lớn, mắt có thể nhìn thấy, hai tay rất dài tới đầu gối. Về tính cách ông là người ít nói, mừng giận không lộ ra mặt.[1]

Nhà nghèo và mồ côi cha sớm, Lưu Bị phải cùng mẹ làm nghề bện giày cỏ, chiếu cỏ để kiếm sống. Do danh tiếng là người trong hoàng tộc, ông vẫn kết giao được với những người có danh vọng như Công Tôn Toản, Lưu Đức Nhiên, cùng họ nhận Lư Thực làm thầy. Lư Thực là người có tài kiêm văn võ, Lưu Bị được truyền đạt học hỏi rất nhiều. Tiền học của Lưu Bị được cha của Lưu Đức Nhiên là Lưu Nguyên Khởi chu cấp cho.[6] Ông học không giỏi mà thích nuôi chó ngựa, chú trọng đến ăn mặc.[2] Lưu Nguyên Khởi, một người cùng họ thường chu cấp cho Lưu Bị, vợ của Nguyên Khởi hỏi: "Mỗi nhà mỗi cảnh, sao ta có thể mãi chu cấp cho nó!" Khởi đáp: "Đứa trẻ ấy có cùng họ với ta, thật là người phi thường vậy".[7]

Lưu Bị thích giao kết với kẻ hào kiệt, được nhiều người trẻ tuổi vây quanh.[1] Lưu Bị đã gặp gỡ và kết giao với Quan Vũ và Trương Phi. Ba người rất thân thiết với nhau, coi nhau như anh em một nhà. Nhà Đông Hán ngày càng suy yếu, nhiều nơi tình hình địa phương không ổn định, Lưu Bị đã tập hợp thanh niên trong xóm đứng ra bảo vệ trật tự. Ông được mấy người phú thương làm nghề buôn ngựa ở nước Trung Sơn là Trương Thế Bình và Tô Song trợ giúp, vì thế Lưu Bị có thể duy trì trong tay một đội quân nhỏ trong vùng.[8]